共 2 个相关内容
Batch API 半价的诱惑很大,但它不是异步队列的替代品。本文说清批量接口的真实成本模型、适用边界,以及踩上去代价很高的那些坑。
同一张 GPU,跑同一个模型,吞吐能差 5 倍。差别几乎全在 KV Cache 的显存管理上。本文讲清 KV Cache 怎么吃显存、PagedAttention 解决了什么、以及压吞吐的四个旋钮。